随机过程的预测状态是一种非参数和可解释的结构,在许多建模范式中具有相关性。从时间序列数据中,自我监督重建预测状态的最新进展重点是使用繁殖内核希尔伯特空间。在这里,我们研究了如何使用Wasserstein距离来检测符号数据中的预测等效性。我们使用基于基于基础几何形状的cantor的有限维嵌入分布序列(“预测”)之间的分布之间的WasSerstein距离(“预测”)。我们表明,使用层次聚类和缩小尺寸使用所得几何形状进行探索性数据分析提供了对从相对简单(例如,有限态态隐藏的Markov模型)到非常复杂(例如,Infinite stexed Indexed Indexed Indexed Indexed Indexed)的过程的时间结构的见解。语法)。
translated by 谷歌翻译
我们合并计算力学的因果状态(预测等同历史)的定义与再现 - 内核希尔伯特空间(RKHS)表示推断。结果是一种广泛适用的方法,可直接从系统行为的观察中迁移因果结构,无论它们是否超过离散或连续事件或时间。结构表示 - 有限或无限状态内核$ \ epsilon $ -Machine - 由减压变换提取,其提供了有效的因果状态及其拓扑。以这种方式,系统动态由用于在因果状态上的随机(普通或部分)微分方程表示。我们介绍了一种算法来估计相关的演化运营商。平行于Fokker-Plank方程,它有效地发展了因果状态分布,并通过RKHS功能映射在原始数据空间中进行预测。我们展示了这些技术,以及他们的预测能力,在离散时间的离散时间离散 - 有限的无限值Markov订单流程,其中有限状态隐藏马尔可夫模型与(i)有限或(ii)不可数 - 无限因果态和(iii)连续时间,由热驱动的混沌流产生的连续值处理。该方法在存在不同的外部和测量噪声水平和非常高的维数据存在下鲁棒地估计因果结构。
translated by 谷歌翻译
In a recent paper Wunderlich and Pehle introduced the EventProp algorithm that enables training spiking neural networks by gradient descent on exact gradients. In this paper we present extensions of EventProp to support a wider class of loss functions and an implementation in the GPU enhanced neuronal networks framework which exploits sparsity. The GPU acceleration allows us to test EventProp extensively on more challenging learning benchmarks. We find that EventProp performs well on some tasks but for others there are issues where learning is slow or fails entirely. Here, we analyse these issues in detail and discover that they relate to the use of the exact gradient of the loss function, which by its nature does not provide information about loss changes due to spike creation or spike deletion. Depending on the details of the task and loss function, descending the exact gradient with EventProp can lead to the deletion of important spikes and so to an inadvertent increase of the loss and decrease of classification accuracy and hence a failure to learn. In other situations the lack of knowledge about the benefits of creating additional spikes can lead to a lack of gradient flow into earlier layers, slowing down learning. We eventually present a first glimpse of a solution to these problems in the form of `loss shaping', where we introduce a suitable weighting function into an integral loss to increase gradient flow from the output layer towards earlier layers.
translated by 谷歌翻译
Density based representations of atomic environments that are invariant under Euclidean symmetries have become a widely used tool in the machine learning of interatomic potentials, broader data-driven atomistic modelling and the visualisation and analysis of materials datasets.The standard mechanism used to incorporate chemical element information is to create separate densities for each element and form tensor products between them. This leads to a steep scaling in the size of the representation as the number of elements increases. Graph neural networks, which do not explicitly use density representations, escape this scaling by mapping the chemical element information into a fixed dimensional space in a learnable way. We recast this approach as tensor factorisation by exploiting the tensor structure of standard neighbour density based descriptors. In doing so, we form compact tensor-reduced representations whose size does not depend on the number of chemical elements, but remain systematically convergeable and are therefore applicable to a wide range of data analysis and regression tasks.
translated by 谷歌翻译
尽管对生物学上合理的学习规则进行了广泛的理论工作,但很难获得有关大脑中是否以及如何实施此类规则的明确证据。我们考虑在生物学上合理的监督和加强学习规则,并询问学习过程中网络活动的变化是否可以用于确定正在使用哪种学习规则。有监督的学习需要一个信用分配模型来估计从神经活动到行为的映射,并且在生物生物体中,该模型将不可避免地是理想映射的不完善的近似,从而导致相对于重量更新的偏见真正的梯度。另一方面,强化学习不需要信用分配模型,并且倾向于按照真正的梯度方向进行体重更新。我们得出一个指标,通过观察学习过程中网络活动的变化来区分学习规则,鉴于实验者已经知道了从大脑到行为的映射。由于脑机界面(BMI)实验允许对该映射进行完美了解,因此我们专注于使用复发性神经网络对光标控制BMI任务进行建模,这表明可以在模拟实验中使用神经科学实验者将在模拟实验中进行区分,以区分学习规则。合理地可以访问。
translated by 谷歌翻译
最小化能量的动力系统在几何和物理学中无处不在。我们为GNN提出了一个梯度流框架,其中方程遵循可学习能量的最陡峭下降的方向。这种方法允许从多粒子的角度来解释GNN的演变,以通过对称“通道混合”矩阵的正和负特征值在特征空间中学习吸引力和排斥力。我们对溶液进行光谱分析,并得出结论,梯度流量图卷积模型可以诱导以图高频为主导的动力学,这对于异性数据集是理想的。我们还描述了对常见GNN体系结构的结构约束,从而将其解释为梯度流。我们进行了彻底的消融研究,以证实我们的理论分析,并在现实世界同质和异性数据集上显示了简单和轻量级模型的竞争性能。
translated by 谷歌翻译
由于存在浓烟或阴霾,从室外视觉环境收集的图像通常会降解。在这些退化的视觉环境(DVE)中,在场景理解中进行研究的关键挑战是缺乏代表性的基准数据集。这些数据集需要评估降级设置中的最新对象识别和其他计算机视觉算法。在本文中,我们通过引入带有朦胧和无雾图像的第一个配对的真实图像基准数据集以及原位的雾化密度测量来解决其中的一些限制。该数据集是在受控的环境中生产的,其专业烟雾产生机器覆盖了整个场景,并由从无人机(UAV)(UAV)和无人接地车(UGV)的角度捕获的图像组成。我们还评估了一组代表性的最先进的飞行方法以及数据集中的对象探测器。本文介绍的完整数据集,包括地面真相对象分类框和雾密度测量值,为社区提供了以下网址评估其算法的信息:https://a2i2-archangel.vision。该数据集的一个子集已用于在CVPR UG2 2022挑战的雾痕中进行对象检测。
translated by 谷歌翻译
逆渲染是一个不适的问题。以前的工作试图通过重点关注对象或场景形状或外观的先验来解决这一问题。在这项工作中,我们专注于自然照明的先验。当前方法依赖于球形谐波照明或其他通用表示,充其量是参数的简单先验。我们提出了一个有条件的神经场表示,基于带有警报网络的变异自动描述器,并扩展向量神经元,直接将其构建到网络中。使用此功能,我们开发了一个旋转等值的高动态范围(HDR)神经照明模型,该模型紧凑并且能够表达自然环境图的复杂,高频特征。在自然场景的1.6k HDR环境图的策划数据集上训练我们的模型,我们将其与传统表示形式进行了比较,证明了其适用于反向渲染任务,并通过部分观察显示了环境图的完成。可以在jadgardner.github.io/reni上找到我们的数据集和训练有素的模型。
translated by 谷歌翻译
保持最新的地图以反映现场的最新变化非常重要,尤其是在涉及在延长环境中操作的机器人重复遍历的情况。未发现的变化可能会导致地图质量恶化,导致本地化差,操作效率低下和机器人丢失。体积方法,例如截断的签名距离功能(TSDF),由于其实时生产致密而详细的地图,尽管在随着时间的推移随着时间的流逝而变化的地图更新仍然是一个挑战,但由于它们的实时生产而迅速获得了吸引力。我们提出了一个框架,该框架引入了一种新颖的概率对象状态表示,以跟踪对象在半静态场景中的姿势变化。该表示为每个对象共同对平稳性评分和TSDF变更度量进行建模。同时加入几何信息和语义信息的贝叶斯更新规则被得出以实现一致的在线地图维护。为了与最先进的方法一起广泛评估我们的方法,我们在仓库环境中发布了一个新颖的现实数据集。我们还评估了公共Toycar数据集。我们的方法优于半静态环境重建质量的最先进方法。
translated by 谷歌翻译
条件神经过程(CNP; Garnelo等,2018a)是元学习模型,它利用深度学习的灵活性来产生良好的预测,并自然处理网格和缺失的数据。 CNPS缩放到大型数据集并轻松训练。由于这些功能,CNP似乎非常适合来自环境科学或医疗保健的任务。不幸的是,CNP不会产生相关的预测,从而使它们从根本上不适合许多估计和决策任务。例如,预测热浪或洪水需要在时间和空间中对温度或降水的依赖性进行建模。建模输出依赖性的现有方法,例如神经过程(NPS; Garnelo等,2018b)或FullConvgNP(Bruinsma等,2021),要么是复杂的训练或过于昂贵的。需要的是一种提供依赖预测的方法,但可以易于训练和计算障碍。在这项工作中,我们提出了一类新的神经过程模型,这些模型可以简单且可扩展,从而提供相关的预测并支持确切的最大似然训练。我们通过使用可逆输出转换来扩展提出的模型,以捕获非高斯输出分布。我们的模型可以用于需要相关功能样本的下游估计任务中。通过考虑输出依赖性,我们的模型在合成和真实数据的一系列实验上显示出改进的预测性能。
translated by 谷歌翻译